Glaeser sinh ra ở Manhattan, New York với cha mẹ là Ludwig Glaeser (1930 -7 tháng 9 năm 2006) và Elizabeth Glaeser. Cha ông sinh ra ở Berlin vào năm 1930, sống ở Berlin trong Thế chiến II và chuyển đến Tây Berlin vào những năm 1950. Ludwig Glaeser nhận bằng kiến trúc từ Đại học Công nghệ Darmstadt và bằng tiến sĩ lịch sử nghệ thuật từ Đại học Tự do Berlin trước khi gia nhập đội ngũ nhân viên tại Bảo tàng Nghệ thuật Hiện đại (MoMA), thành phố New York năm 1963. Ông tiếp tục là người phụ trách của phòng Kiến trúc và Thiết kế vào năm 1969.

Glaeser nói về cha mình, "Niềm đam mê của ông đối với các thành phố và tòa nhà đã nuôi dưỡng chính tôi". Glaeser mô tả cách cha ông ủng hộ công trình mới và thay đổi nếu nó đáp ứng các tiêu chuẩn thẩm mỹ. Theo Glaeser, cha ông cũng "không thích các tòa nhà chung cư ảm đạm sau chiến tranh và căm ghét các cộng đồng ngoại ô xấu xí", nhưng Glaeser thì không, bản thân ông đã tìm thấy nhiều điều để ngưỡng mộ trong đống ngổn ngang ở mức mà nó tạo điều kiện cho "khả năng mọi người sống như họ chọn lựa". Tuy nhiên, tác phẩm của Glaeser cũng lập luận chống lại luật phân vùng chống mật độ địa phương và các chính sách của chính phủ liên bang khuyến khích sự mở rộng, chẳng hạn như khấu trừ thuế thế chấp và các chương trình đường cao tốc liên bang.

Sự nghiệp của Glaeser cũng bị ảnh hưởng bởi mẹ ông, Elizabeth Glaeser, người đã làm việc tại Mobil Corporation với tư cách là trưởng bộ phận Thị trường Vốn trong 20 năm trước khi gia nhập Deloitte & Touche với tư cách là Giám đốc Thực hành Rủi ro Doanh nghiệp. Bà nhận bằng thạc sĩ quản trị kinh doanh khi Edward mười tuổi và thỉnh thoảng đưa ông đến lớp học của mình. Ông nhớ mẹ đã dạy những bài học kinh tế vi mô, chẳng hạn như lý thuyết giá cả theo chi phí cận biên.

Glaeser ngưỡng mộ nhiều khía cạnh trong công trình của Jane Jacobs; cả hai đều cho rằng "các đô thị tốt cho môi trường". Ông không đồng ý với bà về việc làm tăng mật độ người thông qua các công trình cao tầng. Ông ủng hộ các tòa nhà cao hơn trong các thành phố trong khi Jacobs lên án các dự án nhà ở công cộng những năm 1950 và 1960 mà lấy cảm hứng từ Le Corbusier. Các tòa nhà cao tầng khắc khổ, mất nhân tính ở New York cuối cùng đã trở thành "dự án" đi chệch so với ý định ban đầu. Bà tin tưởng vào việc bảo tồn các tòa nhà lịch sử nhỏ hơn của West Greenwich Village vì những lý do cá nhân, kinh tế và thẩm mỹ. Glaeser lớn lên trong một tòa nhà cao tầng và tin rằng các tòa nhà cao hơn cung cấp nhà ở giá cả phải chăng hơn. Ông kêu gọi loại bỏ hoặc giảm bớt các hạn chế giới hạn chiều cao của tòa nhà, các đạo luật bảo tồn và các luật phân vùng khác.